Генеральный директор корпорации Oracle Сафра Кац (Safra Catz), по сообщению ресурса Datacenter Dynamics, рассказала о планах по строительству в Израиле своего второго облачного дата-центра. Речь идёт о создании защищённой площадки, которая расположится глубоко под землёй.

Первый облачный ЦОД компании расположен в бункере площадью 14 тыс. м². Объект, построенный компанией Bynet Data Communications, занимает четыре этажа и находится на глубине 50 м — под 17-этажным зданием и пятью уровнями парковки в иерусалимском технологическом центре Хар-Хотзвим в Иерусалиме.

Новый израильский дата-центр Oracle будет размещён под землёй на глубине, эквивалентной 9-этажному зданию. Это позволит защитить его от возможных угроз. Подробности о проекте нового ЦОД не раскрываются. Отмечается лишь, что его открытие планируется «в скором времени». Кроме того, Кац сообщила, что Oracle удвоит свои инвестиции в Израиле.

Источник изображения: Oracle

Подземные дата-центры довольно распространены в Израиле. Такое размещение является необходимостью, призванной обеспечить безопасность и непрерывность обслуживания клиентов в условиях продолжающейся политической напряжённости в регионе. Облачные регионы в Израиле есть и у других ведущих провайдеров. Так, Google объявила о запуске такого региона в Тель-Авиве в конце 2022 года. В прошлом году свои площадки запустили Amazon Web Services (AWS) и Microsoft Azure.

Под конец года компания Oracle анонсировала запуск облачного региона в Вальпараисо, расположенного относительно недалеко от столицы Чили — Сантьяго. По информации Datacenter Dynamics, речь идёт уже о втором облачном регионе компании в Чили. Как заявили представители облачного провайдера, речь идёт о важном шаге, позволяющем клиентам получить быстрый доступ к сервисам Oracle Cloud Infrastructure (OCI).

В компании считают, что с открытием региона Oracle Cloud в новом месте повышается вклад облачного бизнеса Oracle в технологическое развитие Чили — организации, включая работающие в зарегулированных отраслях, от которых требуется хранение данных на территории страны, смогут ускорить переход в облачную среду. Это уже 48-й публичный облачный регион.

Источник изображения: Loïc Mermilliod/unsplash.com

Oracle активно наращивает своё присутствие по всему миру — буквально на днях её основатель и технический директор Ларри Эллисон (Larry Ellison) заявил, что компания уже строит сотню новых облачных ЦОД. Первый чилийский облачный регион компании расположен в Сантьяго, он был запущен в декабре 2020 года. 2023 год оказался весьма «урожайным» для Латинской Америки. Ранее Oracle запустила облачные регионы в Колумбии и Мексике. За пределами Чили компания теперь имеет здесь два региона в Бразилии, два в Мексике и один в Колумбии.

В ходе отчёта за II квартал 2024 финансового года основатель и технический директор Oracle Ларри Эллисон (Larry Ellison) выступил с важным заявлением. Как сообщает Datacenter Dynamics, по его словам, компания уже сейчас находится в процессе расширения 66 облачных дата-центров, а также занялась созданием 100 новых ЦОД.

По словам Эллисона, новые дата-центры приходится строить потому, что уже сегодня имеются соглашения стоимостью в миллиарды долларов на предоставление клиентам сервисов, которые инфраструктура компании в её нынешнем виде не может обеспечить — спрос на облака растёт беспрецедентными темпами.

В основном сегодня компания полагается на аренду площадей ЦОД у сторонних провайдеров вместо постройки собственных объектов. Похожей политики придерживаются и конкуренты вроде Google, Microsoft и AWS, но они тратят миллиарды и на собственную инфраструктуру. Как сообщила Oracle, ей по силам вовремя построить новые ЦОД и недорого эксплуатировать их, поскольку все решения компании «архитектурно идентичны», отличаются высокой степенью автоматизации и имеют идентичные RDMA-сети.

Источник изображения: Oracle

По словам главы Oracle Сафры Катц (Safra Catz), в мире имеются десятки облачных регионов компании различного назначения — от выделенных или суверенных до общедоступных. Продолжается строительство и новых регионов. Как заявил Эллисон, в ближайшие месяцы Oracle намерена запустить свои сервисы в 20 ЦОД Microsoft, всего на 2 тыс. стоек — в рамках сотрудничества с Microsoft Azure. По словам Катц, ежегодная выручка облачного сегмента сегодня составляет порядка $20 млрд, причём спрос на облачные сервисы продолжает расти.

В ходе выступления Эллисон заявил, что в числа новых ЦОД входят как регионы Oracle Cloud, так и, например, мощности в ЦОД Microsoft. Также он добавил, что семь государств заказали суверенные облачные регионы, включая Японию, Италию, Саудовскую Аравию, Бангладеш и Новую Зеландию. Кроме того, ИИ-стартап Илона Маска (Elon Musk) xAI стал крупным клиентом Oracle. Для обучения первой версии языковой модели Grok уже получено достаточно ускорителей NVIDIA, но новому детищу миллиардера нужно больше вычислительных мощностей.

Точно неизвестно, велик ли спрос на ИИ-сервисы Microsoft или у компании просто недостаточно вычислительных ресурсов, но IT-гиганту пришлось договариваться с Oracle об использовании ИИ-ускорителей в ЦОД последней. Как сообщает The Register, речь идёт о применении оборудования Oracle для «разгрузки» некоторых языковых моделей Microsoft, применяемых в Bing.

Во вторник компании анонсировали многолетнее соглашение. Как сообщают в Microsoft, одновременное использование компанией как Oracle Cloud, так и Microsoft Azure расширит возможности клиентов и ускорит работу с поисковыми сервисами. Сотрудничество связано с тем, что Microsoft надо всё больше вычислительных ресурсов для заявляемого «взрывного роста» её ИИ-сервисов, а у Oracle как раз имеются десятки тысяч ускорителей NVIDIA A100 и H100 для аренды.

Источник изображения: cliff1126/pixabay.com

Служба Oracle Interconnect обеспечивает взаимодействие с облаком Microsoft Azure, что позволяет работающим в Azure сервисам взаимодействовать с ресурсами Oracle Cloud Infrastructure (OCI). Раньше такое решение уже применялось, но для сторонних клиентов двух компаний. Теперь Microsoft применяет Interconnect наряду с Azure Kubernetes Service для организации работы ИИ-узлов в облаке Oracle на благо Bing Chat.

Microsoft ещё в феврале интегрировала чат-бота Bing Chat в свой поисковый сервис и свой браузер. Не так давно добавилась и возможность, например, генерировать изображения прямо в процессе диалога. При этом использование больших языковых моделей требует огромного числа ускорителей для их тренировки, но для инференса необходимы ещё большие вычислительные мощности.

Фото: Microsoft

В Oracle утверждают, что облачные суперкластеры компании, которые, вероятно, будет использовать Microsoft, могут масштабироваться до 32 768 ИИ-ускорителей A100 или 16 384 ускорителей H100 с использованием RDMA-сети с ультранизкой задержкой. Дополнением является хранилище петабайтного класса. В самой Microsoft избегают говорить, сколько именно узлов Oracle нужно компании, причём, похоже, не намерены делать этого и в будущем.

Конкуренты сотрудничают уже не в первый раз. В сентябре Oracle сообщала о намерении размещать системы с базами данных в ЦОД Azure. Более того, ещё в мае 2023 года Microsoft и Oracle изучали возможность аренды ИИ-серверов друг у друга на случай, если у них вдруг не будет хватать вычислительных мощностей для крупных облачных клиентов. Ранее ходили слухи, что похожие соглашения Microsoft подписала с CoreWeave и Lambda Labs, к которым NVIDIA более благосклонна в вопросах поставки ускорителей. Попутно Microsoft ищет более экономичные альтернативы языковым моделям OpenAI.

Oracle представила инстансы Ampere A2 следующего поколения на базе 192-ядерных Arm-процессоро AmpereOne, которые станут доступны для клиентов компании позднее в этом году. Как сообщает Oracle, новые инстансы обеспечивают на 44 % лучшее соотношение цены и производительности по сравнению с предложениями на архитектуре x86 и идеально подходят для ИИ-инференса, работы с базами данных, веб-сервисами, рабочих нагрузок транскодирования мультимедиа и поддержки среды выполнения для таких языков, как GO и Java.

Инстансы OCI Ampere A2 предлагают до 320 ядер в случае bare metal и до 156 ядер в рамках одной виртуальной машины. Обладая большим объёмом приватного кеша, стабильной рабочей частотой, однопоточными ядрами и новыми функциями управления памятью, инстансы нового поколения позволяют обеспечить ещё более предсказуемую производительность за счёт снижения влияния внешних помех, как происходит в случае SMT, и одновременно предлагают безопасную микроархитектуру для многопользовательских облачных сред.

Источник изображений: Ampere

«То, что происходит с OCI и Ampere, является отражением значительных перемен, происходящих в нашей отрасли, — сказала гендиректор Ampere Рене Джеймс (Renee James). — Времена использования мощности в качестве показателя производительности переходят в эру высокопроизводительных вычислений с низким энергопотреблением. Такие клиенты, как 8X8 и другие, признают, что существует необходимость снизить затраты на инфраструктуру и в то же время сократить выбросы углекислого газа без ущерба для производительности. В нашу эру компьютеров с ИИ новая сила — это меньшая мощность».

Клэй Магоуирк (Clay Magouyrk), исполнительный вице-президент Oracle Cloud Infrastructure Development, сообщил, что в связи с быстрым ростом Oracle подошла к пределам доступной мощности, и для дальнейшего масштабирования облака ей необходим рост эффективности в дополнение к производительности: «Вот почему мы используем Ampere для всего: от базы данных Oracle до приложений Fusion, а теперь и для всех наших сервисов OCI. С развитием ИИ-обработки этот сдвиг в вычислениях стал ещё более важным. Ampere — это решение OCI для устойчивого облака».

СУБД Oracle Database полностью поддерживается процессорами Ampere. Кроме того, все сервисы OCI, число которых исчисляется сотнями, теперь тоже работают на CPU Ampere. Конечные клиенты могут перенести все свои рабочие нагрузки на платформу Ampere, в том числе задачи инференса, которые поддерживаются библиотеками AI Optimizer от Ampere.

NVIDIA запустила сервис ИИ-супервычислений DGX Cloud, предоставляющий предприятиям доступ к инфраструктуре и программному обеспечению, необходимым для обучения передовых моделей для генеративного ИИ и других приложений.

DGX Cloud предлагает выделенные ИИ-кластеры NVIDIA DGX в сочетании с фирменным набором ПО NVIDIA. С его помощью предприятие сможет получить доступ к облачному ИИ-суперкомпьютеру, используя веб-браузер и без надобности в приобретении, развёртывании и управлении собственной HPC-инфраструктурой. Правда, удовольствие это всё равно не из дешёвых — стоимость инстансов DGX Cloud начинается от $36 999/мес., причём деньги получает в первую очередь сама NVIDIA. Для сравнения — полностью укомплектованная система DGX A100 в Microsoft Azure обойдётся примерно в $20 тыс.

Облачные кластеры DGX предлагаются предприятиям на условиях ежемесячной аренды, что гарантирует им возможность быстро масштабировать разработку больших рабочих нагрузок. «DGX Cloud предоставляет клиентам мгновенный доступ к супервычислениям NVIDIA AI в облаках глобального масштаба», — сообщил Дженсен Хуанг (Jensen Huang), основатель и генеральный директор NVIDIA.

Источник изображения: NVIDIA

Развёртыванием инфраструктуры DGX Cloud компания NVIDIA будет заниматься в сотрудничестве с ведущими поставщиками облачных услуг. Первым среди них стала платформа Oracle Cloud Infrastructure (OCI), предлагающая суперкластер (SuperCluster) с объединёнными RDMA-сетью (в том числе на базе BlueField-3 и Connect-X7) системами DGX (bare metal), которые дополняет высокопроизводительное локальное и блочное хранилище. Cуперкластер может включать до 32 768 ускорителей, но этот рекорд был поставлен с использованием DGX A100, а вот предложение DGX H100 пока что ограничено. В следующем квартале похожее решение появится в Microsoft Azure, а потом в Google Cloud и у других провайдеров.

Источник изображения: NVIDIA

Первыми пользователями DGX Cloud стали Amgen, одна из ведущих мировых биотехнологических компаний, лидер рынка страховых технологий CCC Intelligent Solutions (CCC) и провайдер цифровых бизнес-платформ ServiceNow. «Мощные вычислительные и многоузловые возможности DGX Cloud позволили нам в 3 раза ускорить обучение белковых LLM с помощью BioNeMo и до 100 раз ускорить анализ после обучения с помощью NVIDIA RAPIDS по сравнению с альтернативными платформами», — сообщил представитель Amgen.

Для управления нагрузками в DGX Cloud предлагается NVIDIA Base Command. Также DGX Cloud включает в себя набор инструментов NVIDIA AI Enterprise для создания и запуска моделей, который предоставляет комплексные фреймворки и предварительно обученные модели для ускорения обработки данных и оптимизации разработки и развёртывания ИИ. DGX Cloud предоставляет поддержку экспертов NVIDIA на всех этапах разработки ИИ. Клиенты смогут напрямую работать со специалистами NVIDIA, чтобы оптимизировать свои модели и быстро решать задачи разработки с учётом сценариев отраслевого использования.

Во вторник, 19 июля, в ЦОД Google Cloud Platform (GCP) в Лондоне произошёл сбой в системе охлаждения, в связи с чем несколько сервисов компании временно вышло из строя. В лондонском регионе облака Oracle тоже возникли проблемы с охлаждением оборудования ЦОД. Сбои произошли из-за рекордной жары в Великобритании — температура превысила +40°C. Некоторые операторы дата-центров были вынуждены принять нестандартные меры, начав обрызгивать водой внешние модули систем кондиционирования, установленные на крыше.

Отключение ряда сервисов Google произошло в 18:13 по местному времени (20:13 мск). В журнале статуса оборудования сбой описан как «связанный с охлаждением». Google заявила, что сбой затронул лишь небольшое количество клиентов. В частности, отключение коснулось сервисов Persistent Disk и Autoscaling. Хотя Google утверждает, что сбой продолжался до 22:00 BST (24:00 мск), в означенное время всё ещё поступали жалобы на ошибки в работе Persistent Disk.

Изображение: pixabay.com / Gam-Ol

С подобными проблемами в Лондоне столкнулась и облачная служба Oracle. Проблемы с перегревом у неё начались примерно в 17:00 по местному времени (19:00 мск). Oracle ранее арендовала ресурсы в ЦОД Equinix в лондонском кампусе Слау, но сейчас не раскрывает местонахождение своих мощностей. «В результате несезонных температур в регионе возникла проблема с частью инфраструктуры охлаждения в центре обработки данных на юге Великобритании (в Лондоне), — говорится в сообщении компании. — Это привело к тому, что часть нашей сервисной инфраструктуры пришлось отключить, чтобы предотвратить неконтролируемые сбои оборудования».

Видеосервис TikTok сообщил в конце прошлой недели, что в рамках т.н. Project Texas «изменил место хранения пользовательских данных в США по умолчанию» на платформу Oracle и что «100% пользовательского трафика в США направляется в Oracle Cloud Infrastructure» после длившихся более года переговоров двух компаний.

Решение направлено на устранение опасений властей США по поводу того, что связи социальной сети с Китаем могут представлять угрозу для национальной безопасности страны. Объявление о переносе данных совпало (и вряд ли случайно) с публикацией итогов расследования ресурса BuzzFeed, которое показало, что сотрудники TikTok в Китае на постоянной основе получали доступ к персональным данным пользователей TikTok в США как минимум в период с сентября 2021 года по январь 2022 года.

После этого TikTok сообщил, что все личные данные пользователей из США, включая номера телефонов, даты рождения и черновики видео, теперь хранятся на серверах облака Oracle. Принадлежащий китайской компании ByteDance видеосервис также сообщил, что предложил Oracle заняться разработкой протоколов управления данными, которые помогут в защите конфиденциальной информации.

Источник изображения: Pixabay

По словам TikTok, резервные копии пользовательских данных TikTok из США по-прежнему хранятся на собственных серверах TikTok в Виргинии и Сингапуре, но в конечном итоге они будут удалены в рамках продолжающегося перехода на платформу Oracle. Сроки запланированного удаления копий пока неизвестны. Однако BuzzFeed сообщает, что сотрудники ByteDance в Пекине по-прежнему будут иметь доступ к публичным данным пользователей из США, включая видео, комментарии и профили, что позволит им делать выводы об интересах американцев.

Напомним, что в августе 2020 года власти США выступили с угрозой запретить TikTok в США, сославшись на опасения, что правительство Китая будет использовать данные, собранные TikTok, для слежки за гражданами США. К сентябрю ими был подготовлен контракт, в рамках которого компания ByteDance, материнская компания TikTok, должна была продать миноритарную долю в видеосервисе двум американским компаниям, Oracle и Walmart, при этом Oracle брала на себя хранение данных TikTok в США.

В итоге сделка была заключена, но воспользовавшись приходом к власти нового президента, ByteDance выторговала себе возможность не продавать долю в TikTok, а лишь перевести данные на хранение в облаке Oracle. Для Oracle обслуживание более чем 100 млн пользователей TikTok в США является возможностью приблизиться к конкурентам Amazon и Microsoft, взявшим под свой контроль более половины рынка.

При этом для самой ByteDance сотрудничество с Oracle, похоже, не является оптимальным вариантом. В прошлом году компания стала вторым по величине арендатором ЦОД в США (суммарно 92 МВт), хотя по сравнению с 2020 годом (134 МВт) объём арендованных мощностей снизился. Ранее компания отказалась от услуг Alibaba Cloud за пределами Китая, что заметно повлияло на выручку последней. А в конце прошлого года ByteDance взялась за развитие собственной облачной платформы Volcano Engine.

Стало известно, что Oracle разворачивает новый облачный регион в Израиле. Он находится в высокозащищённом четырёхуровневом подземном объекте в Иерусалиме, где также размещена одна из наиболее засекреченных ИТ-инфраструктур страны.

Облачный регион Oracle в Иерусалиме находится в разработке с прошлого года. Многопользовательский ЦОД общей площадью 460 тыс. кв. футов (42,8 тыс. м²) был построен израильским провайдером ИТ-услуг Bynet Data Communications. Израиль стал вторым облачным регионом Oracle на Ближнем Востоке. Свои первые облачные площадки в этом регионе компания запустила в прошлом году в Дубае.

Другие облачные провайдеры тоже создают ЦОД в Израиле, что стимулирует строительство большого количества новых объектов в стране. Согласно публикации израильской деловой газеты Globes, здесь планируют запустить дата-центры Amazon Web Services и Microsoft Azure. Возможным подрядчиками в реализации проекта AWS названы риэлтерская компания Azrieli Group и американский разработчик ЦОД Compass Datacenters, в котором Azrieli недавно приобрела значительную долю.

Хотя подземные центры обработки данных имеются и в других регионах мира, Иерусалим, находящийся под постоянной угрозой нападения со стороны соседей Израиля, сделал выбор в пользу хранения критически важных инфраструктур под землёй по вполне очевидным причинам.

Фото: EZRA LEVY, The Jerusalem Post

Согласно данным израильского сайта CTech, верхний этаж объекта Bynet находится под пятиуровневым гаражом, который, в свою очередь, размещён под 17-этажным зданием. Потолок самого верхнего уровня ЦОД сделан из «бетона с покрытием из стальных пластин, способного противостоять взрыву автомобильной бомбы». Как сообщает CTech, «каждый этап строительства и монтажа» контролировали государственные регулирующие органы во главе с национальным киберуправлением и спецслужба Шин Бет.

Причина такого строгого надзора заключается в том, что Oracle — не единственный арендатор объекта. Он предназначен для размещения ИТ-инфраструктуры крупных банков, страховых и технологических компаний, а также государственных учреждений, включая оборонные. Отметим, что высокозащищённые подземные дата-центры также предлагают Cavern Technologies, Iron Mountain, Pionen, DEAC, Lefdal и др.